Recursive Kalman-type optimal estimation and detection of hidden Markov chains

Efficient algorithms for computing the ‘a posterior? probabilities (APPs) of discrete-index finite-state hidden Markov sequences are proposed. They are obtained by reducing the APPs computation to the optimal nonlinear minimum mean square error (MMSE) estimation of the noisily observed sequences of the indicator functions associated with the chain states. Following an innovations approach, finite-dimensional and recursive Kalman-like ‘filter’ and ‘smoothers’ for the Markov chain state sequence are thus obtained, and exact expressions of their MSE performance are given. The filtered and smoothed state estimates coincide with the corresponding APP sequences. Finite-dimensional MMSE nonlinear filter and smoothers are also given for the so-called ‘number of jumps’ and for the ‘occupation time’ processes associated with the Markov state sequence. Zusammenfassung Es werden effiziente Algorithmen zur Berechnung der ‘a posteriori’ Wahrscheinlichkeiten (APPs) von verdeckten Markoff-Folgen mit diskretem Index und endlichen Zustlnden vorgestellt. Sie werden hergeleitet, indem die Berechnung der APPs auf die im Sinne des kleinsten mittleren Fehlerquadrates (MMSE) optimale nichtlineare Schatzung der verrauscht beobachteten Folgen von Indikatorfunktionen zurlckgeftihrt wird, die mit den Kettenzustanden verkniipft sind. In Anlehung an den Innovationsansatz werden fiir die Zustandsfolge der MarkotIkette endlichdimensionale, rekursive ‘Filter’ und ‘Glatter’ vom Kalmantyp hergeleitet und exakte Ausdriicke fur ihren mittleren quadratischen Fehler angegeben. Die gefilterten und geglitteten Zustandsschatzwerte stimmen mit den entsprechenden APP Folgen iiberein. Es werden such endlichdimensionale, nichtlineare MMSE Filter und Glitter fur die Prozesse der sogenannten ‘Sprunganzahl’ und der sogenannten ‘Besetzungszeit’ angegeben, die mit der Zustandsfolge der MarkotIkette verbunden sind. Rbumk On propose ici des algorithmes pour calculer les probabilites ‘a posterior? (PAP) de sequences de Markov Cachees a Ctat fini et a index discret. Ces algorithmes sont obtenus en reduisant le calcul des PAP a l’estimation optimale de l’erreur quadratique moyenne minimale (EQMM) nonlineaire des sequences bruitees observees des fonctions d’indicateur associees aux etats de la chaine. On obtient alors, par l’approche des innovations, un ‘filtre’ et des ‘lisseurs’ rtcursifs et de dimension finie pour la sequence d’etat de Markov tres proches de ceux de Kalman, et l’expression *Corresponding author. Tel.: + 39 6 44585 859; fax: + 39 6 4873300; e-mail: [email protected]. 0165-1684/96/$15.00 6 1996 Elsevier Science B.V. All rights reserved PII SO 165-l 684(96)00030-8 56 E. Baccarelli, R. Cusani / Signal Processing 51 (1996) 55-64 exacte de leurs performances EQM est do&e. Les estimees filtries et lissees comcident avec les sequences PAP correspondantes. Un filtre et des lisseurs nonlineaires de dimension finie et a EQMM sont Cgalement don& pour les processus que l’on appelle ‘le nombre de sauts’ et ‘le temps d’occupation’ associis a la sequence d&tat de Markov.